Self-Trained Verification for Training- and Test-Time Self-Improvement
自训练验证：无需人工标注的测试时与训练时自我改进
🧭 推理模型自我改进 · 验证器训练与蒸馏 ★ 深度解读
Carnegie Mellon University
利用参考答案蒸馏验证器，同时提升推理模型在测试时迭代精炼和训练后独立表现
📌 工作参考价值（4 点）
- 验证器训练范式：当直接评价生成结果困难时，可引入参考答案作为特权信息，用 on-policy 蒸馏训练一个无条件验证器，避免人工标注反馈质量。电商搜索中，可类似地利用点击/成交数据作为“参考答案”训练查询质量判别器。
- 弱到强验证：实验证明 1.7B 的 STV 验证器配合 8B 生成器可匹敌 8B 自验证，适合资源受限场景。在多智能体系统中，可用小模型作为仲裁者或反馈提供者，节省推理成本。
- 生成器反馈训练 (ViL)：在验证器反馈下继续 RL 训练生成器，不仅能提升多轮对话效果，还能让模型首轮回答质量大幅提升（+30%）。可迁移到对话式推荐或 agent 工具调用，用自我反馈数据突破 RL 平台期。
- 防止奖励黑客：STV 缓解了验证器分数虚高但准确率停滞的问题，通过精确率-覆盖率曲线诊断验证器校准。对推荐系统中的 RL 排序或生成模型，可借鉴该思路监控并校准 critic 或 reward model。